一年前,我们还在小心谨慎地定义着Cloud HPC,一脸娇羞地拿Novartis 诺华制药在5年前做的案例当作标杆。不久前,Hyperion Research正式宣布2019年是Cloud HPC的转折年。HPC:HighPerformance Computing高性能计算,换句话说,对算力要求高这一年,我们帮不少用户落地了云端算力解决方案。像我们老板说的,对用户来说,最重要的是提供一种Accessibility(可触达),后面的Efficiency(效率)都是水到渠成的事儿。同时,我们也看到很多用户在云的边缘疯狂试探,等某个未知的神秘力量来推上一把;还有些用户惊喜地发现,我们提供了一种解决他们现有问题的新思路。
今天,我们盘一盘国内外Cloud HPC现在的局面:1. 全球越来越多企业踏足HPC领域,AI和高性能数据分析首当其冲2. 不同Cloud HPC细分领域未来5年年均复合增长率超过21%
3. 从两个全球超大规模CPU、GPU的溢出到云案例看云的可伸缩弹性能力4. 我们观察到的国内外部分行业用云现状:制药/基因测序/EDA/CAE/高校友情提醒:如果你还在为算力不足而头疼,或对云有所期待,此文建议转发给你的老板,让我们等待一个“真香”~~全球越来越多企业踏足HPC领域,
AI和高性能数据分析首当其冲
全球越来越多企业级用户开始踏足HPC领域,比如欺诈/异常检测、商业智能、关联营销、精准医疗、智慧城市、物联网等等。大数据和HPC的结合提供了很多新的解决方案,基于HPDA高性能数据分析的AI人工智能,ML机器学习,DL深度学习是最热的领域。HPDA高性能数据分析领域的增长速度超过HPC市场整体增长速度。AI领域的增长速度高于整个HPDA高性能数据分析领域的增长速度。
众所周知:AI现在还处在早期发展阶段。推理功能弱,主要解决观察识别类问题,而不是决策问题。比较落地的应用场景是在图像和声音识别,高级驾驶辅助系统,MRI医疗影像识别领域。
AI不是什么包治百病的神奇药丸,不过是数学罢了。
从OPENAI在2019年11月发布的图片中就能明显看出,自2012年以来,AI训练对计算的要求3、4个月就会翻一倍。在可见的未来,这个趋势应该会持续。不同Cloud HPC细分领域
未来5年年均复合增长率超过21%
Hyperion Research预测未来5年HPC用户的用云趋势:纵轴指的是用户在第三方云资源上的花费,包括了公有云,混合云,第三方搭建的私有云。不同Cloud HPC细分领域未来5年年均复合增长率都超过了21%。
从两个全球超大规模CPU、GPU的溢出到云案例看云的可伸缩弹性能力
Hyperion Research的调查结果跟ANSYS不谋而合。对用户来说,云的可伸缩弹性是当之无愧的第一大法宝。
我们看看两个全球超大规模CPU、GPU的溢出到云的案例。2019年10月,克莱姆森大学计算学院(Clemson University School of Computing)创下了云端高性能计算领域一个记录。他们花了大概5万美金,运行了4个小时,使用214万个vCPU在Google云上跑了一个数据密集型应用,在200万小时的视频中对车辆进行计数,视频数据文件大小为210TB。这是个概念验证实验,为了验证在现实数据量极大,时间紧迫的情况下,云端高性能计算有能力为应急处理提供决策支持。有了云计算,公司或组织不需要拥有大量机器,或者停止手头上一切工作来处理应急情况。
2019年11月,SDSC圣地亚哥超级计算中心联合威斯康星州冰立方粒子天体物理中心(Wisconsin IceCube Particle Astrophysics Center)在AWS,Azure和Google云上一共调度了超过5万GPU完成一次仿真模拟计算试验。
图片来源:Igor Sfiligoi, SDSC/加州大学圣地亚哥分校黑线是用于计算的GPU数量,最高达到51,500个。不同颜色代表在某家云厂商的某个区域购买的GPU数量。相比之下,美国橡树岭国家实验室Summit系统的名义性能约为400 PFLOP32s。因此,这次计算,基于云的集群提供了全球排名第一超算中心峰值90%的性能。“这场实验主要有三个目标:一是用于天体物理学模拟仿真研究;第二是测试网络基础设施是不是做好了未来E级计算的准备;第三是想测一下一个小时左右的时间内,能买到多少商用云计算GPU资源。这次调度了三大洲(北美、欧洲和亚洲)28个区域的所有可用GPU。结果说明云端弹性可以冲击非常大规模的GPU,适用于天文学和其他科学领域的广泛挑战。”我们观察到的国内外部分行业上云现状:
制药/基因测序/EDA/CAE/高校
计算机辅助药物设计(Computer-Aided Drug Design,CADD),国内相比于美国、英国等国家,的确有点落后,但是发展速度非常快,已经成为药物研发流程中不可或缺的一部分。怎么利用计算工具和资源,解决新药研发过程中的各种问题?人才方面,我们可以尽可能帮助企业降低对他们的各种云、HPC技术等方面的知识技能要求,更专注在药物研发业务方向。计算这一块,拿虚拟筛选来举例。我们能帮助用户让过去需要耗费几个月的筛选时间缩短到1天以内。
案例:我们用Schrodinger(薛定谔)辅助用户对7.8亿多个分子进行了筛选,用了云上的几万个Core,计算时长仅花费了3-13个小时(每个Core上所需时间不一样)。基因测序天然地数据量大,而且计算复杂程度高,整个分析工作流程复杂,经常需要修改算法。怎么在最短时间内对海量生物数据进行计算,找出单个基因或多个基因组合和一系列疾病的关系?一个是计算量有明显季节性。而本地计算资源的分析能力有限,升级成本高,云的弹性伸缩能力能很好地应对;案例:我们有个基因用户就要求8小时内处理完当日5点前数据,而且每天对计算资源的要求很不确定,只有计算时间要求是固定的,这种情况下云端算力就是比较理想的解决方案。而且我们还能将其复杂的分析流程进行优化封装,进一步提升计算效率。ANSYS作为CAE仿真里的巨头,也是目前唯一一个真正采用云端计费模式的企业。他们在2019年5月做的调查显示:云端仿真有很大的增长潜力。
在未来的12个月,大多数预计将使用SaaS解决方案(62%),其次是公有云(45%),紧随其后的是混合云解决方案:私有云+合作伙伴管理的数据中心(44%)或私有云+合作伙伴管理的公有云(40%)。案例:我们帮助一家风电新能源用户优化他们的核心应用Bladed,利用云上更新,主频更高的CPU硬件最大化发挥应用性能,调度任务同时支持本地和云上的Windows节点和Linux节点。放眼全球,整个半导体产业链核心角色:EDA软件/Foundry/Fabless芯片设计公司/IP厂商无一缺席,早在几年前就在布局上云。三大EDA巨头Synopsys/Cadence/Mentor和芯片制造厂TSMC台积电可以说引领了整个行业。从AI芯片初创企业到大型Foundry芯片代工厂,从SaaS模式到多区域+多公有云的混合模式,到多云PaaS平台的搭建。我们编了一本《半导体行业解决方案白皮书》。
对很多高校来说,500 core的计算资源峰值需求就足以成为一个障碍。除了常用的工程应用,生物分析,化学计算等常见高性能计算场景,不少高校和科研院所都在搭建自己的一站式AI计算平台或AI实验室,满足自身人工智能应用创新开发或者学校的AI课程相关实验等需求。在汽车出现之前,我们只想要更快的马。
汽车出现之后带来的很多可能性,在马的时代都是不可想象的。
现在,又到了发挥想象力的时候啦~
祝大年新春大吉鸭!
扫下图二维码添加小F微信(ID:imfastone)云资源中的低成本战斗机——竞价实例,AWS、阿里云等六家云厂商完全用户使用指南
非容器化应用怎么玩多云?Kubernetes不管我们管啊
全球半导体行业上云格局一览和十个上云实践问题的解答
3秒即得最低价,速石上线「多云成本计算器」,来算一下?